Posts tagged with #Deep Learning

卷积神经网络 (Convolutional Neural Networks) 的灵感来源于图像处理中的“边缘检测器”： 1. 局部性 (Locality)：一个边缘检测器每次**只观察图像的一小部分区域**。 2...

> 由于 Homework 6 的笔记内容有些多，我把它拆分成三部分了。 Part1 的内容是从零实现 Neural Nets 的相关组件。 作业初始代码的总体架构如下： * `models. py`：神经网络模型实现：负责整个网络的前向传播、反向传播和训练循环 * `layers...

> 生成：Gemini-2. 5-pro，整理：fyerfyer 人工神经网络的许多核心概念都源于对生物大脑工作方式的模仿。通过对比生物神经系统，我们可以更深刻地理解人工神经网络的设计哲学。 大脑的基本计算单元是神经元 (Neuron)，它是一个负责处理和传递信息的细胞： * **神经元 (Neuron)**：大脑和神经系统的基本构成单位，负责思考与通讯。 * **动作电位 (Action...

> 生成：Gemini-2. 5-pro，整理：fyerfyer 神经网络 (Neural Networks) 是一种功能强大的非线性模型，可同时用于**分类 (Classification)** 和**回归 (Regression)** 任务。 它融合了机器学习中的多个核心概念： * **感知机 (Perceptrons)**: 构成神经网络的基本单元。 * **线性/逻辑回归**:...

注意力权重 $α_i$ 是通过对 $k_i^T q$ 的点积结果进行 softmax 计算得到的。要让 $α_j$ 几乎承载所有权重，查询向量 $q$ 和键向量 $k_j$ 的点积 $k_j^T q$ 远大于所有其他点积 $k_i^T q$($i ≠ j$)。 根据 $i$ 的结论，我们有 $α_j \approx 1$ 且对于所有 $i ≠ j，α_i ≈ 0$。此时： $$ c...

指令微调是收集大量**覆盖不同任务的 (指令, 输出) 数据对**，然后用这些数据去微调一个已经预训练好的语言模型（LM）。 > 一个重要的发现是，我们可以利用一个非常强大的模型（如GPT-4）来生成大量的指令和回答，然后用这些生成的数据去微调一个规模小一些的开源模型。 > 对齐，“少即是多” (Less Is More for...

预训练的目的是确保模型能**处理大规模、多样化的数据集**。我们需要在架构和工程上做好准备，让模型能够“吃得下”并且“消化得了”这种级别的数据。 在预训练中，为了实现大规模的训练，我们需要放弃昂贵且有限的人工标注数据，**采用自监督学习，让模型直接从海量的、无标注的原始文本中自我学习**。 传统模型对**词汇表（Vocabulary）** 有如下的假设： 1. ...

我们可以将注意力机制（Attention）理解为一个过程，它模仿了我们**从一个“键值对（Key-Value）”存储中“软性地”查找信息的方式**： 1. 我们有一个查询（Query）。 2...

语言模型的主要任务是计算**一个词语序列出现的概率有多大**。一个由 $m$ 个词组成的序列 $\lbrace w_1, . , w_m \rbrace$，它出现的概率被记为 $P(w_1,...

反向传播是一个高度本地化(local)的过程，可以看作是**电路中各个“门”（gate）之间的通信**： <Image src={image_image} alt="alt text" /> 电路中的每一个“门”（比如一个加法门、一个乘法门）在工作时，完全不需要知道整个电路有多复杂，也不需要知道自己处在电路的哪个位置。它**是一个独立的、封装好的模块，只会完成自己对应的操作**。...